scrapy爬取豆瓣电影，存储在MongoDB
本节分享用的Scrapy爬取豆瓣电影Top250的实战。
本节要实现的内容有：
- 爬取豆瓣电影Top250页面的，全部字段
- 将抓取到的结果存储到MongoDB。
实验环境：
- PyCharm
- Python3.6
- Scrapy
- PyMongo
- MongoDB
创建项目
在你的工作目录的文件夹下打开命令提示符窗口，输入：
scrapy startproject dbmoive
创建爬虫
cd dbmoive
scarpy genspider douban movie.douban.com/top250
如果正确创建，得到的目录如下所示
- scrapy.cfg文件中主要包含的是项目的相关设置。
- dbmoive文件夹下是用于编写爬虫的目录。
- items.py：定义我们所要爬取的信息的相关属性。
- middlewares.py：爬虫中间件，这里可以用过自定义相关的方法，用来处理爬虫的响应和请求。
- pipelines.py：当数据被爬虫爬取下来后，它会被发送到item pipelines中，每个item pipelines组件（有时称为“项目管道”）是一个实现简单方法的Python类。他们收到一个项目并对其执行操作，还决定该项目是否应该继续通过管道或被丢弃并且不再被处理。
- settings.py：项目的设置文件。
- douban.py: 项目中，爬虫的主要逻辑代码
禁止ROBOTSTXT_OBEY
接下来你需要打开settings.py文件，将ROBOTSTXT_OBEY修改为False。
ROBOTSTXT_OBEY = False
它默认为True，就是要遵守robots.txt 的规则，那么 robots.txt 是个什么东西呢？
通俗来说， robots.txt 是遵循 Robot 协议的一个文件，它保存在网站的服务器中，它的作用是，告诉搜索引擎爬虫，本网站哪些目录下的网页 不希望 你进行爬取收录。在Scrapy启动后，会在第一时间访问网站的 robots.txt 文件，然后决定该网站的爬取范围。
当然，我们并不是在做搜索引擎，而且在某些情况下我们想要获取的内容恰恰是被 robots.txt 所禁止访问的。所以，某些时候，我们就要将此配置项设置为 False ，拒绝遵守 Robot协议 ！
尝试最初的爬取
接下来我们什么代码也不修改，执行爬取，运行如下命令：
scrapy crawl douban
你会发现爬取结果会出现这样的一个错误：
500 Internal Server Error
访问知乎得到的状态码是500，这说明爬取并没有成功，其实这是因为我们没有加入请求头，知乎识别User-Agent发现不是浏览器，就返回错误的响应了。
所以接下来的一步我们需要加入请求headers信息，你可以在Request的参数里加，也可以在spider里面的custom_settings里面加，当然最简单的方法莫过于在全局settings里面加了。
我们打开settings.py文件，取消DEFAULT_REQUEST_HEADERS的注释，加入如下的内容：
所以在这里设置为False。当然可能本次爬取不一定会被它限制，但是我们一般来说会首先选择禁止它。
所以接下来的一步我们需要加入请求headers信息，你可以在Request的参数里加，也可以在spider里面的custom_settings里面加，当然最简单的方法莫过于在全局settings里面加了。
我们打开settings.py文件，取消DEFAULT_REQUEST_HEADERS的注释，加入如下的内容：
DEFAULT_REQUEST_HEADERS = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'en',
'Accept-Encoding' : 'gzip, deflate, br',
'Cache-Control' : 'max-age=0',
'Connection' : 'keep-alive',
'Host' : 'movie.douban.com',
'Upgrade-Insecure-Requests' : '1',
'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
}
这个是为你的请求添加请求头，如果你没有设置headers的话，它就会使用这个请求头请求，添加了User-Agent信息，所以这样我们的爬虫就可以伪装浏览器了。
接下来重新运行爬虫。
scrapy crawl zhihu
这时你就会发现得到的返回状态码就正常了。
解决了这个问题，我们接下来就可以分析页面逻辑来正式实现爬虫了。
页面分析
使用选取工具选取整个电影的信息，可以发现，所有的信息都是放在单独的一个li标签中的，而且在li下还有一个class为item的div包裹着所有的信息。
定义item
根据前面的分析，我们需要抓取一共十个字段的信息，现在在items.py文件中定义item
class DoubanItem(Item):
# 排名
ranking = Field()
# 篇名
title = Field()
# 导演和演员
director = Field()
# 一句话描述 有的为空
desc = Field()
# 评分
rating_num = Field()
# 评价人数
people_count = Field()
# 上映时间
date = Field()
# 上映国家
country = Field()
# 类别
category = Field()
parse方法
写完上面的代码，其实只是抓取一页的罢了，为了抓取完整的top250榜单，我们需要让爬虫跳转到下一页再进行循环抓取，因为每个页面的结构是一样的，所以不用担心会抓取不到。
这里不单独讲解XPath和CSS选择器的使用方法，多看一点资料，自己总结一下。
不知道各位有没有获取XPath和CSS好用一点的方法，欢迎分享给我。
def parse(self, response):
item = DoubanItem()
movies = response.xpath('//div[@class="item"]')
for movie in movies:
# 名次
item['ranking'] = movie.xpath('div[@class="pic"]/em/text()').extract()[0]
# 片名 提取多个片名
titles = movie.xpath('div[@class="info"]/div[1]/a/span/text()').extract()
item['title'] = titles
# 获取导演信息和演员信息
info_director = movie.xpath('div[2]/div[2]/p[1]/text()[1]').extract()[0].replace(" ", "").replace("\n", "")
item['director'] = info_director
# 上映日期
date = movie.xpath('div[2]/div[2]/p[1]/text()[2]').extract()[0].replace(" ", "").replace("\n", "").split("/")[0]
# 制片国家
country = movie.xpath('div[2]/div[2]/p[1]/text()[2]').extract()[0].replace(" ", "").replace("\n", "").split("/")[1]
# 影片类型
category = movie.xpath('div[2]/div[2]/p[1]/text()[2]').extract()[0].replace(" ", "").replace("\n", "").split("/")[2]
item['date'] = date
item['country'] = country
item['category'] = category
desc = movie.xpath('div[@class="info"]/div[@class="bd"]/p[@class="quote"]/span/text()').extract()
if len(desc) != 0: # 判断info的值是否为空，不进行这一步有的电影信息并没有会报错或数据不全
item['desc'] = desc
else:
item['desc'] = ' '
# item['desc'] = movie.xpath('div[@class="info"]/div[@class="bd"]/p[@class="quote"]/span[@class="inq"]/text()').extract()[0]
item['rating_num'] = movie.xpath('div[@class="info"]/div[@class="bd"]/div[@class="star"]/span[@class="rating_num"]/text()').extract()[0]
item['people_count'] = movie.xpath('div[@class="info"]/div[@class="bd"]/div[@class="star"]/span[4]/text()').extract()[0]
yield item
# 获取下一页
next_url = response.xpath('//span[@class="next"]/a/@href').extract()
if next_url:
next_url = 'https://movie.douban.com/top250' + next_url[0]
yield Request(next_url, callback=self.parse, dont_filter=True)
那么到这里，代码就写完了。
然后我们来运行一下这个爬虫，scrapy框架是通过命令来启动爬虫的，
在项目根目录下打开命令提示符，输入：
scrapy crawl douban
如果没有出错，你会在终端看到一行行滚动的信息。
存储在Mongo
从官方文档中拷贝如下代码到pipeline.py中，只需要修改collection_name，其余基本不用修改。在存储MongoDB之前，你需要将正确安装MongoDB，并且启动MongoDB。
class MongoPipeline(object):
collection_name = 'douban'
def __init__(self, mongo_uri, mongo_db):
self.mongo_uri = mongo_uri
self.mongo_db = mongo_db
@classmethod
def from_crawler(cls, crawler):
return cls(
mongo_uri=crawler.settings.get('MONGO_URI'),
mongo_db=crawler.settings.get('MONGO_DATABASE')
)
def open_spider(self, spider):
self.client = pymongo.MongoClient(self.mongo_uri)
self.db = self.client[self.mongo_db]
def close_spider(self, spider):
self.client.close()
def process_item(self, item, spider):
self.db[self.collection_name].insert_one(dict(item))
return item
另外记得开启一下Item Pileline。setting.py
ITEM_PIPELINES = {
'dbmovie.pipelines.MongoPipeline': 400,
}
实验结果
项目的完整代码，可以看这里scrapy爬取豆瓣电影Top250，存储在MongoDB中
如果不想存储在MongoDB中，可以使用scrapy支出的命令导出其他格式的文件
scrapy crawl douban -o data.json
scrapy crawl douban -o data.csv
scrapy crawl douban -o data.xml
🎉🎉🎉🎉 如果你觉得有帮助到你，欢迎打赏。
